Viermal war Kaiser Friedrich verheiratet, teils aus Liebe, teils aus kaltem politischem Kalkül. Für Bianca Lancia verzichtete er auf vorteilhafte Ehen, Isabell von Brienne brachte ihm das Königreich Jerusalem. Adelheid eine deutsche Adlige, Tochter  des Herzogs von Spoleto, war in Hagenau seine große Liebe. Friedrichs erste Ehe mit Konstanze von Aragón vermittelte Papst Innozenz III. Die Ehe wurde im August 1209 in Palermo in Anwesenheit beider Brautleute geschlossen. Konstanze war in erster Ehe mit dem 1204 verstorbenen König Emmerich von Ungarn verheiratet gewesen. 1211 ging aus der Verbindung mit Friedrich als einziges Kind Heinrich hervor. Die Krönung zur Kaiserin erfolgte 1220. Am 23. Juni 1222 starb Konstanze nach dreizehn Ehejahren in Catania. Neben seiner Ehe mit Konstanze hatte Friedrich mehrere Affären. Etwa zur gleichen Zeit von Heinrichs Geburt, hatte Friedrich eine Affäre mit einer sizilischen Adligen. Aus dieser Beziehung ging einen weiterer Sohn mit Namen Friedrich von Pettorano hervor. Nach Friedrichs Aufbruch 1212 in das Reich nördlich der Alpen, hatte er im elsässische Hagenau ein Verhältnis mit der um 1194 oder 1195 geborenen schwäbischen Adligen Adelheid, einer Tochter Konrads von Urslingen, des Herzogs von Spoleto. Aus dieser Beziehung gingen zwei Kinder hervor, der um 1215 oder 1216 geborene Enzio (Heinrich) und die zwischen 1216 und 1218 geborene Katharina. (1) 1216 nach vierjähriger räumlicher Trennung holte Friedrich Konstanze und Heinrich wohl aus politischen Gründen, in das elsässische Hagenau. Mittlerweile dreißigjährig, heiratete Friedrich nach dem Tod Konstanzes die knapp vierzehn Jahre alten Isabella von Brienne, die Thronfolgerin des Königreiches Jerusalem. Die Verbindung sollte wohl Friedrichs Kreuzzugsgelübde festigen und wurde wohl deshalb von Papst Honorius III. angeregt und vom Deutschordensmeister Hermann von Salza vermittelt. Die Trauung erfolgte am 9. November 1225 im Dom Santa Maria del Casale zu Brindisi. Eine 1226 geborene Tochter verstarb früh. Nach nur zweieinhalb Jahren starb Isabella 1228 an den Folgen der Geburt des gemeinsamen Sohnes Konrad IV., der später römisch- deutscher König wurde.

Etwa  in der zweiten Hälfte der 1220er Jahre ging Friedrich ein Verhältnis mit Bianca Lancia ein, die aus einer piemontesischen Markgrafenfamilie stammte. Drei Kinder stammen aus dieser Verbindung, das älteste war die um 1230 geborene Tochter Konstanze, die um 1241 den byzantinischen Kaiser Johannes Vatatzes heiratete. 1232 kam der Sohn Manfred zur Welt. Er trat 1254 die Nachfolge als König von Sizilien an. Das dritte Kind war wohl Violante, die um 1233 geboren wurde. Sie wurde mit dem Grafen Richard von Caserta vermählt. Mittlerweile vierzigjährig, ging Friedrich in Worms, die dritte eheliche Verbindung mit der einundzwanzigjährigen Isabella von Plantagenet ein. Isabella war die Schwester König Heinrichs III. von England und Tochter des verstorbenen englischen Königs Johann Ohneland. Die Mitgift belief sich auf die enorme Summe von etwa sieben Tonnen Silber. Nach der Hochzeit verschwand Isabella angeblich aus der Öffentlichkeit. Matthäus Paris behauptet, Friedrich habe „die Kaiserin mehreren maurischen Eunuchen und ähnlichen alten Ungetümen zur Obhut“ gegeben. Mit Isabella hatte Friedrich etwa Ende 1236 eine Tochter namens Margarete und einen Sohn, den im Februar 1238 geborenen Heinrich (auch Carlotto oder Zarlotto genannt). Nach sechsjähriger Ehe, am 1. Dezember 1241, verstarb Isabella möglicherweise an einer Fehlgeburt in Foggia. Das nächste Heiratsprojekt Mitte der 1240er Jahre, mit Gertrud von Österreich, scheiterte wohl an Friedrichs Exkommunikation. Auch blieb der Plan einer Ehe mit Jutta von Sachsen unausgeführt. Diese angedachten Verbindungen sind wohl politisch zu sehenden, sie hätten Friedrichs Stellung im Norden des Reiches erheblich gestärkt und ihm die Unterstützung eines wichtigen Fürsten in Österreich gebracht. Im Jahr 1245 oder vielleicht erst 1248 heiratete Friedrich seine langjährige Geliebte Bianca Lancia, um die Anzahl seiner legitimen Nachkommen und möglichen Nachfolger zu erhöhen. Soweit bekannt hatte Friedrich mit mindestens 13 Frauen wenigstens 20 Kinder.  Einige üblen Nachrichten über Affären des Kaisers, dürften aber der päpstlichen Propaganda, die ihn als Wüstling und daher für die Herrschaft ungeeignet darstellten sollten, zu zuordnen sein. Unbekannt sind die Mütter der Kinder Richard, Salvaza, Margarete und vielleicht noch weiterer; genannt werden auch ein Sohn Gerhard und eine Tochter namens Blanchefleur.